Trong bối cảnh hai người đã tạo được mối thân tình, vào năm 1790, Nguyễn Ánh cho dựng một ngôi nhà bằng tre, lợp mái tranh bên hữu ngạn rạch Thị Nghè để làm nơi Giám mục Pigneau de Behaine (tức Bá Đa Lộc) ở và dạy học cho hoàng tử Nguyễn Phúc Cảnh. Thừa sai Lestrade gọi ngôi nhà đó là "dinh" Giám mục, mặc dù đó chỉ là ngôi nhà rất thô sơ. Năm 1799, Nguyễn Ánh cho làm lại dinh Giám mục bằng gỗ lợp ngói cho đến khi Giám mục Pigneau de Behaine từ trần (ngày 9 tháng 10 năm 1799) thì ngôi nhà trở thành nơi trọ cho một linh mục thừa sai tên là Liot từ năm 1799 đến 1811. Năm 1819, tác giả John White ghi nhận dinh Giám mục trở thành kho chứa quân cụ[3].

Sau Hòa ước Nhâm Tuất (1862), vua Tự Đức giao ngôi nhà gỗ lợp ngói đó cho Giám mục Dominique Lefèbre (1844-1864) - Giám mục tiên khởi của giáo phận Tây Đàng Trong (tiền thân Tổng giáo phận Thành phố Hồ Chí Minh ngày nay) làm tòa Giám mục. Nhưng sau đó, Giám mục Lefèbre từ trần và thừa sai Colombert, thư ký của Giám mục Miche (1864-1873) vẫn trọ tại tòa Giám mục để lui tới họ đạo Thị Nghè và Cầu Bông thăm viếng giáo dân, và cử hành các bí tích cho cộng đoàn Công giáo. Năm 1864, để nhường đất xây dựng Thảo cầm viên Sài Gòn nên ngôi nhà này được đi dời về khu đất các thừa sai mà hiện nay là Sở Ngoại vụ Thành phố Hồ Chí Minh nằm ở đường Alexandre de Rhodes, gần dinh Độc Lập. Năm 1897, khi đề cập đến ngôi nhà gỗ lợp ngói đó, học giả Trương Vĩnh Ký gọi là Dinh Tân Xá.

Năm 1911, tòa Giám mục kiên cố được xây dựng (đường Nguyễn Đình Chiểu ngày nay), Giám mục Mossard (1899-1920) cho di dời ngôi nhà gỗ lợp ngói về trong khuôn viên này để làm nhà nguyện. Năm 1962, Tổng Giám mục Phaolô Nguyễn Văn Bình cho xây tường gạch thay một số vách ván mục nát của ngôi nhà nguyện cổ và cho gia cố một số cột mục vào năm 1980. Năm 2011, ngôi nhà nguyện cổ đó lần lượt xuất hiện những chỗ mục nát sụp đổ, dấu hiệu của tình trạng xuống cấp trầm trọng, xem ra không còn có thể phục chế hay gia cố nữa nên Ban Văn hoá Công giáo của tổng giáo phận cùng với Ban Quản lý Tòa Giám mục được giao nhiệm vụ nghiên cứu và thực hiện phục chế toàn bộ theo kiến trúc cổ kính như xưa.